Zwischenzeitlich war es während der Fehde der Westerburger mit Erzbischof Balduin von Trier 1319-21 zur Errichtung der Gegenburg Balduinstein gekommen. Von den Westerburgern wurde die Schaumburg mehrmals verpfändet. Seit 1547 war die Burg zeitweise Sitz einer Linie der Grafen von Leiningen-Westerburg. 1656 wurde sie an die Witwe des Grafen Peter Melander von Holzappel verkauft, die noch im selben Jahr starb. Ihre Tochter Elisabeth Charlotte war mit Fürst Adolf von Nassau-Dillenburg verheiratet. Bis 1707 war sie im Besitz dieser Familie und blieb fortan in der Hand der Nachfahren (bei Anhalt-Bernburg-Schaumburg bis 1812, durch Heirat bis 1867 bei Habsburg-Lothringen, bis 1888 bei Oldenburg, anschließend Waldeck).

Besonders bedeutsam war die Zeit von 1848-1867, als Erzherzog Stephan von Österreich auf der von seiner Mutter ererbten Schaumburg sein Exil verbrachte und das Schloss mit der großen europäischen Politik in Verbindung kam. Der kunstsinnige und universal gebildete Schlossherr legte eine umfangreiche Bibliothek und eine einzigartige Mineraliensammlung an, wodurch der gesellschaftliche Verkehr erheblich zunahm. Besonders prägend war der Um- und Neubau des heruntergekommenen Schlosses, den er von 1850-1857 unternahm. Er starb 1867, sein Alleinerbe war Herzog Ludwig von Oldenburg.
Dennoch erstritt das Haus Waldeck-Pyrmont 1887 die Herausgabe des Schlosses, in deren Familienbesitz es bis 1984 verblieb.
Nach Teilveräußerungen erlebte es in den letzten 20 Jahren einen mehrfachen Besitzerwechsel.